Prompt Compression via Activation Aggregation
通过激活聚合进行提示压缩
🧭 LLM 推理效率 · 激活压缩与重用
Freie Universität Berlin
将固定指令提示压缩为单个激活向量并注入 LLM 早期层，准确率下降小于 2%
📌 工作参考价值（4 点）
- 在电商搜索、推荐场景中，常用固定指令模板（如意图分类、商品属性抽取）可预计算压缩向量，跳过重复的 token 处理，显著降低线上推理延迟与计算成本。
- 多步 Agent 系统若共享同一系统提示，可将其压缩后注入各子任务，加速整体响应。
- 压缩器训练离线完成，不影响在线推理，且 patch 维度可调，便于在精度与效率之间做工程权衡。
- 方法依赖对目标 LLM 中间层激活的加权求和，需冻结模型并在特定任务上微调压缩器，适合指令固定、调用量大的场景。